Calibrating Semantic Uncertainty from Observable Language-Model Probabilities
从可观测语言模型概率校准语义不确定性
🧭 语言模型概率校准与语义稳健性
Artificial Intelligence Finance Institute · Quiota LLC
提出语义映射框架，将语言模型词汇概率校准为可验证的语义后验，在改写下保持稳定
📌 工作参考价值（4 点）
- 评估LLM输出的可靠概率：在电商推荐中，若用LLM生成推荐理由或解释，可通过语义映射把 token 概率转化为推荐置信度，避免直接使用模型打印的数值概率。
- 保证改写稳定性：提示词工程中，不同措辞的同义提示可能导致概率漂移。该方法通过标定后验确保语义级输出对改写稳定，可用于构建鲁棒的对话式推荐或Agent决策。
- 审计推荐系统语义一致性：对生成式推荐或Agent的响应进行校准审计，检测是否存在语义不稳定，提升系统可解释性与可信度。
- 小样本后验估计：利用少量标定数据连接语言模型输出与目标后验，适用于缺乏大量标注的电商场景，如用户意图分类或商品属性判别。